package com.kkb.hbase.mr.demo3UDPartitioner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class FlowMain extends Configured implements Tool {

    /**
     * 使用mr来实现编程的8个步骤
     * 确定：k,v里面都装什么东西
     *      k1:行偏移量 LongWritable ,v1：文本内容 Text
     *      k2：分区默认是针对k2的，针对手机号进行分区 Text  ,v2：放上行下行流量 FlowBean
     *      k3: 手机号 Text ,v3：流量的字符串 Text
     * @param args
     * @return
     * @throws Exception
     */
    @Override
    public int run(String[] args) throws Exception {
        //定义MapReduce的8个步骤， 然后通过job进行组装
        //获取job对象
        Configuration conf = super.getConf();
        Job job = Job.getInstance(conf,FlowMain.class.getSimpleName());

        //本地可以不设(设置程序运行的主类)集群运行必须
        job.setJarByClass(FlowMain.class);

        //通过job组装MapReduce的8个步骤
        //1.读取文件，解析成key,value对
        job.setInputFormatClass(TextInputFormat.class); //设置读取输入文件的格式
        TextInputFormat.addInputPath(job,new Path(args[0]));//设置读取文件路径,读取文件，解析成key，value对

        //2.自定义map逻辑，接收k1,v1装换成k2,v2
        job.setMapperClass(FlowMapper.class);
        //设置key,value对的属性 - - map阶段输出的key类型 k2,v2
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(FlowBean.class);

        //3.分区（使用自己定义分区器）
        job.setPartitionerClass(PartitionOwn.class);

        /**
         * 4.排序
         * 5.规约
         * 6.分组
         */

        //7.自定义reduce逻辑
        job.setReducerClass(FlowReducer.class);
        //k3,v3的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        //7.1 设置reduceTask的数量
        job.setNumReduceTasks(Integer.parseInt(args[2]));
        //8.输出最终结果
        job.setOutputFormatClass(TextOutputFormat.class);
        //注意：输出路径 要不存在 否则报错
        TextOutputFormat.setOutputPath(job,new Path(args[1]));

        //提交整个job任务 等整个 任务结束之后 如果任务执行成功，返回true
        boolean b = job.waitForCompletion(true);
        //如果true 返回 0 表示整个任务执行成功
        return b?0:1;
    }

    public static void main(String[] args) throws Exception {
        int run = ToolRunner.run(new Configuration(), new FlowMain(), args);
        System.exit(run);
    }

}
